本节将脱离实际背景, 从理论上来讨论一般线性模型的参数统计推断. 考虑模型依然为 ${\displaystyle y=X\beta +\epsilon }$, 这里 ${\displaystyle X\in {\mathbb{R}}^{n\times p}}$, ${\displaystyle \mathrm{rank}X\le p}$, ${\displaystyle n\ge p}$. ${\displaystyle \beta \in {\mathbb{R}}^p}$ 是未知参数向量. 误差向量 ${\displaystyle \epsilon :\mathbb{E}\epsilon =0}$.

1 可估参数函数及其估计

我们从 ${\displaystyle \beta }$ 的最小二乘估计开始. 在 这里 我们得到它是正规方程 $$\begin{array}{}\text{(1.1)}& X^{\mathrm{T}}X\hat{\beta }=X^{\mathrm{T}}y\end{array}$$ 的解. 现在解释它的直观几何意义. 要使 ${\displaystyle ||y-X\beta ||}$
最小, 则 ${\displaystyle X\beta }$ 应该是 ${\displaystyle y}$ 在平面 ${\displaystyle \mu (X)}$ 上的投影: ${\displaystyle X\hat{\beta }=P_{X}y}$, 如图.

但是如果 ${\displaystyle \mathrm{rank}X<p}$, 正规方程 (1.1) 有无穷多的解, 此时 ${\displaystyle \beta }$ 是不可估的. 为此, 引入如下定义:

不可估还可以用正规方程的多解性说明. 此时 ${\displaystyle X^{\mathrm{T}}X\beta =0}$ 有非零解 ${\displaystyle {\beta }_0}$. 如果 ${\displaystyle {\beta }_{\ast }=\beta +{\beta }_0}$, 则必有 ${\displaystyle X{\beta }_{\ast }=X\beta }$, 而 ${\displaystyle \beta }$ 在模型中的作用是通过 ${\displaystyle X\beta }$ 体现的, 因此无法从模型推断 ${\displaystyle \beta }$, ${\displaystyle {\beta }_{\ast }}$.

如果 ${\displaystyle a^{\mathrm{T}}\beta }$ 可估, 记它线性无偏估计的全体为 $${\mathcal{E}}_{\mathrm{U}}(a)=\{c^{\mathrm{T}}y|\mathbb{E}(c^{\mathrm{T}}y)=a^{\mathrm{T}}\beta ,\mathrm{\forall }\beta \in {\mathbb{R}}^p\}.$$

这表明, 如果 ${\displaystyle a^{\mathrm{T}}\beta }$ 可估(${\displaystyle a\in \mu (X)}$), 则 ${\displaystyle a^{\mathrm{T}}\hat{\beta }}$ 不依赖 ${\displaystyle \hat{\beta }}$ 是正规方程的哪个解. 因此, 不管 ${\displaystyle X}$ 是否满列秩, ${\displaystyle X\hat{\beta }}$ 总是唯一的.

而如果取消 ${\displaystyle \mathrm{Cov}\epsilon ={\sigma }^{2}I}$ 的假定, 虽然可估性和最小二乘估计没有改变, 但是 ${\displaystyle a^{\mathrm{T}}\hat{\beta }}$ 就不一定是 BLUE 了. 此时, 假设 ${\displaystyle \mathrm{Cov}\epsilon ={\sigma }^{2}G}$, ${\displaystyle G}$ 是正定阵, 则模型为 ${\displaystyle y\sim (X\beta ,{\sigma }^{2}G)}$, 不难求出 BLUE: 令 ${\displaystyle z=G^{-\frac{1}{2}}y}$, 原模型变为 ${\displaystyle z\sim (G^{-\frac{1}{2}}X\beta ,{\sigma }^{2}I)}$. 此时正规方程 $$(X^{\mathrm{T}}{G}^{-1}X)\hat{\beta }=X^{\mathrm{T}}{G}^{-1}y$$ 的解 ${\displaystyle \hat{\hat{\beta }}}$, 则 ${\displaystyle a^{\mathrm{T}}\beta }$ 的 BLUE 就是 ${\displaystyle a^{\mathrm{T}}\hat{\hat{\beta }}}$.
称 ${\displaystyle \hat{\hat{\beta }}}$ 是新模型的加权最小二乘估计.

回到模型 ${\displaystyle y\sim (X\beta ,{\sigma }^{2}I)}$, 记 ${\displaystyle \hat{\epsilon }=y-X\hat{\beta }}$ 为剩余/残差, ${\displaystyle ||\hat{\epsilon }|{|}^2=||P_{X^{\perp }}y|{|}^2}$ 为剩余平方和. 我们在 6.2中 看出 ${\displaystyle \frac{||\hat{\epsilon }|{|}^2}{n-r}}$ (${\displaystyle r=\mathrm{rank}X}$) 是 ${\displaystyle {\sigma }^2}$ 的无偏估计, 记为 ${\displaystyle {\hat{\sigma }}^2}$.

从而

2 受约束线性模型的参数估计

实际问题中我们也要给 ${\displaystyle \beta }$ 一个约束: $$H\beta =\xi .$$ 这里 ${\displaystyle H\in {\mathbb{R}}^{k\times p}}$. 设 ${\displaystyle \mathrm{rank}H=k}$. 则 ${\displaystyle H}$ 有右逆 ${\displaystyle H_{\mathrm{r}}}$, 即 ${\displaystyle H{H}_{\mathrm{r}}=I_k}$. 做变换 ${\displaystyle z=y-X{H}_{\mathrm{r}}\xi }$, ${\displaystyle \theta =\beta -H_{\mathrm{r}}\xi }$, 则原模型变为 ${\displaystyle z\sim (X\theta ,{\sigma }^{2}I;H\theta =0)}$. 由此, 可以不失一般性地讨论 ${\displaystyle H\beta =0}$. 下面就来讨论 $$\begin{array}{}\text{(2.1)}& y\sim (X\beta ,{\sigma }^{2}I;H\beta =0).\end{array}$$
回顾 定理1.1. 注意到证明中用了 ${\displaystyle \beta }$ 的任意性, 因此添加 ${\displaystyle H\beta =0}$ 约束后, 可估的充要条件变为 ${\displaystyle \mathrm{\exists }c}$: ${\displaystyle c^{\mathrm{T}}X\beta =a^{\mathrm{T}}\beta }$, ${\displaystyle \mathrm{\forall }H\beta =0}$. 它等价于 ${\displaystyle \mathrm{\exists }c}$: ${\displaystyle c^{\mathrm{T}}X\beta =a^{\mathrm{T}}\beta }$, ${\displaystyle \mathrm{\forall }\beta \in {\mu }^{\perp }(H^{\mathrm{T}})}$. 又等价于 ${\displaystyle X^{\mathrm{T}}c-a\in \mu (H^{\mathrm{T}})}$, 即 $$a\in \mu ((X^{\mathrm{T}}{H}^{\mathrm{T}}))=\mu (X^{\mathrm{T}})+\mu (H^{\mathrm{T}}).$$
因为 ${\displaystyle H\beta =0}$, 则也理应有 ${\displaystyle H\hat{\beta }=0}$. 于是最小二乘推广为受约束最小二乘估计 ${\displaystyle {\hat{\beta }}_H}$: $$||y-X{\hat{\beta }}_H|{|}^2=\underset{Hb=0}{min}||y-Xb|{|}^2.$$ 注意到 $$||y-Xb|{|}^2=||y-X{\hat{\beta }}_H|{|}^2+||X({\hat{\beta }}_H-b)|{|}^2+2({\hat{\beta }}_H-b{)}^{\mathrm{T}}{X}^{\mathrm{T}}(y-X{\hat{\beta }}_H).$$ 可知 ${\displaystyle {\hat{\beta }}_H}$ 是方程 $$({\hat{\beta }}_H-b{)}^{\mathrm{T}}{X}^{\mathrm{T}}(y-X{\hat{\beta }}_H)=0,\mathrm{\forall }Hb=0$$ 的解. 这等价于 ${\displaystyle X^{\mathrm{T}}(y-X{\hat{\beta }}_H)\in \mu (H^{\mathrm{T}})}$. 即 ${\displaystyle \mathrm{\exists }\lambda }$: ${\displaystyle X^{\mathrm{T}}y-X^{\mathrm{T}}X{\hat{\beta }}_H=H^{\mathrm{T}}\lambda }$. 从而 ${\displaystyle {\hat{\beta }}_H}$ 是方程 $$\begin{array}{}\text{(2.2)}& \left(\begin{array}{cc}{X}^{\mathrm{T}}X& H^{\mathrm{T}}\\ H& 0\end{array}\right)\left(\begin{array}{c}{X}_H\\ \lambda \end{array}\right)=\left(\begin{array}{c}{X}^{\mathrm{T}}y\\ 0\end{array}\right)\end{array}$$ 的解. 把它作为 (2.1) 的正规方程.

不难证明上述方程是相容(有解)的.

假设 (2.2) 解为 ${\displaystyle {\hat{\beta }}_H=Ly}$. 由 ${\displaystyle H{\hat{\beta }}_H=0}$, 得 ${\displaystyle HLy=0}$, 从而 ${\displaystyle \mathrm{Cov}(HLy)={\sigma }^{2}HL{L}^{\mathrm{T}}{H}^{\mathrm{T}}=0}$, 得 ${\displaystyle HL=0}$. 根据正规方程 $$\begin{array}{}\text{(2.3)}& (X^{\mathrm{T}}X)Ly+H^{\mathrm{T}}\lambda =X^{\mathrm{T}}y\Rightarrow L^{\mathrm{T}}(X^{\mathrm{T}}X)Ly=L^{\mathrm{T}}{X}^{\mathrm{T}}y.\end{array}$$

又有 ${\displaystyle L^{\mathrm{T}}{X}^{\mathrm{T}}XL=L^{\mathrm{T}}{X}^{\mathrm{T}}}$, 得 ${\displaystyle XL}$ 是幂等矩阵, 即 ${\displaystyle P_{XL}}$. 从而 $$X{\hat{\beta }}_H=P_{XL}y.$$

对 ${\displaystyle XL}$ 给出如下引理:

2.1 如何附加约束

如何附加约束让原模型不缩小? 设模型为 ${\displaystyle y=X\beta +\epsilon }$, ${\displaystyle \beta \in {\mathbb{R}}^p}$. 现在希望 $$\{X\beta |\beta \in {\mathbb{R}}^p\}=\{X\beta |H\beta =0\}=\{X\beta |\beta \in \mathrm{Ker}(H)\}.$$ 根据 引理2.1, $$\{X\beta |\beta \in \mathrm{Ker}(H)\}=\{X\beta |\beta \in \mu (R)\}=\{XR\beta |\beta \in {\mathbb{R}}^p\}.$$ 因此模型不缩小的充要条件是 $$\mathrm{rank}(XR)=\mathrm{rank}((X^{\mathrm{T}}{H}^{\mathrm{T}}))-\mathrm{rank}{H}^{\mathrm{T}}=\mathrm{rank}{X}^{\mathrm{T}},$$ 等价于 $$\begin{array}{}\text{(2.5)}& \mu (X^{\mathrm{T}})\cap \mu (H^{\mathrm{T}})=\{0\}.\end{array}$$
如果 ${\displaystyle \mathrm{rank}X=r<p}$, 则 ${\displaystyle H}$ 秩至多为 ${\displaystyle p-r}$.
在 (2.5) 下的约束, 对模型的统计推断没有实质性的影响. 从估计的角度, 我们有下列结果:

3 区间估计

接下来我们只讨论 ${\displaystyle y\sim {\mathcal{N}}_n(X\beta ,{\sigma }^{2}I)}$. 先给出一个结果:

现在对于无约束模型 ${\displaystyle y\sim {\mathcal{N}}_n(X\beta ,{\sigma }^{2}I)}$, 设 ${\displaystyle c^{\mathrm{T}}\beta }$ 各分量均可估, 且 ${\displaystyle \mathrm{rank}c=m}$. 则有 ${\displaystyle K:c=X^{\mathrm{T}}K}$, 则 ${\displaystyle K^{\mathrm{T}}{P}_{X}K}$ 是满秩的.

根据定理 (3.1) 立即得 $$F=\frac{(\hat{\beta }-\beta {)}^{\mathrm{T}}c(K^{\mathrm{T}}{P}_{X}K{)}^{-1}{c}^{\mathrm{T}}(\hat{\beta }-\beta )}{{\mathrm{SS}}_{\epsilon }}\cdot \frac{n-r}{m}\sim F_{m,n-r},$$ 这是因为 $$\begin{array}{rl}& c^{\mathrm{T}}(\hat{\beta }-\beta )=K^{\mathrm{T}}X(\hat{\beta }-\beta )=K^{\mathrm{T}}{P}_X(y-X\beta )\\ \Rightarrow & \frac{(\hat{\beta }-\beta {)}^{\mathrm{T}}c(K^{\mathrm{T}}{P}_{X}K{)}^{-1}{c}^{\mathrm{T}}(\hat{\beta }-\beta )}{{\sigma }^2}\sim {\chi }_m^2.\end{array}$$

则 ${\displaystyle \mathbb{P}\{F\le F_{m,n-r}(\alpha )\}=1-\alpha }$.
记 ${\displaystyle {\mathbb{R}}^m}$ 中椭球 $$G(c^{\mathrm{T}}\hat{\beta })=\left\{z|(z-c^{\mathrm{T}}\hat{\beta }{)}^{\mathrm{T}}(K^{\mathrm{T}}{P}_{X}K{)}^{-1}(z-c^{\mathrm{T}}\hat{\beta })\le \frac{m{\mathrm{SS}}_{\epsilon }}{n-r}{F}_{m,n-r}(\alpha )\right\},$$ 则 ${\displaystyle \mathbb{P}\{c^{\mathrm{T}}\beta \in G(c^{\mathrm{T}}\hat{\beta })\}=1-\alpha }$, 从而 ${\displaystyle G(c^{\mathrm{T}}\hat{\beta })}$ 就是 ${\displaystyle c^{\mathrm{T}}\beta }$ 的 ${\displaystyle 1-\alpha }$ 置信系数的置信椭球.

特别地对 ${\displaystyle m=1}$, ${\displaystyle a^{\mathrm{T}}\beta }$ 可估, 故 ${\displaystyle \mathrm{\exists }b:a=X^{\mathrm{T}}b}$, 于是 ${\displaystyle a^{\mathrm{T}}\hat{\beta }\sim {\mathcal{N}}_1(a^{\mathrm{T}}\beta ,{\sigma }^2{b}^{\mathrm{T}}{P}_{X}b)}$, 得 $$T=\frac{a^{\mathrm{T}}(\hat{\beta }-\beta )\sqrt{n-r}}{\sqrt{{\mathrm{SS}}_{\epsilon }\cdot b^{\mathrm{T}}{P}_{X}b}}\sim t_{n-r}.$$ 不难算出置信区间 $$a^{\mathrm{T}}\hat{\beta }\pm \sqrt{\frac{{\mathrm{SS}}_{\epsilon }{b}^{\mathrm{T}}{P}_{X}b}{n-r}}\cdot t_{n-r}\left(\frac{\alpha }{2}\right).$$

4 一般线性假设检验

此时依然有 ${\displaystyle y\sim {\mathcal{N}}_n(X\beta ,{\sigma }^{2}I)}$. 考虑一般线性假设 $$H_0:H\beta =0,\mathrm{rank}{H}_{k\times p}=k.$$
考虑 似然比 $$\lambda =\frac{M}{M_H}=\frac{max\{L(y;\beta ,{\sigma }^2)|\beta \in {\mathbb{R}}^p,{\sigma }^2>0\}}{max\{L(y;\beta ,{\sigma }^2)|H\beta =0,{\sigma }^2>0\}},$$ 其中 ${\displaystyle L(y;\beta ,{\sigma }^2)={\sigma }^{-n}\exp \{-\frac{1}{2{\sigma }^2}||y-X\beta |{|}^2\}}$. 记$$\begin{array}{rl}{\mathrm{SS}}_{\epsilon }& =min\{||y-X\beta |{|}^2|\beta \in {\mathbb{R}}^p\},\\ {\mathrm{SS}}_{H\epsilon }& =min\{||y-X\beta |{|}^2|H\beta =0\}.\end{array}$$ 前面得到 ${\displaystyle {\mathrm{SS}}_{\epsilon }=||y-X\hat{\beta }|{|}^2}$, ${\displaystyle {\mathrm{SS}}_{H\epsilon }=||y-X{\hat{\beta }}_H|{|}^2}$. 然后可以容易得到 $$M={\left(\frac{{\mathrm{SS}}_{\epsilon }}{n}\right)}^{-\frac{n}{2}}\exp (-\frac{n}{2}),M_H={\left(\frac{{\mathrm{SS}}_{H\epsilon }}{n}\right)}^{-\frac{n}{2}}\exp (-\frac{n}{2}),$$ 从而 ${\displaystyle \lambda =\frac{M}{M_H}={\left(\frac{{\mathrm{SS}}_{\epsilon }}{{\mathrm{SS}}_{H\epsilon }}\right)}^{-\frac{n}{2}}}$.
对 ${\displaystyle \lambda }$ 变形: $$\lambda ={(\frac{{\mathrm{SS}}_{H\epsilon }-{\mathrm{SS}}_{\epsilon }}{{\mathrm{SS}}_{\epsilon }}+1)}^{\frac{n}{2}}={(\frac{{\mathrm{SS}}_H}{{\mathrm{SS}}_{\epsilon }}+1)}^{\frac{n}{2}}.$$
注意到 ${\displaystyle \lambda }$ 关于 ${\displaystyle \frac{{\mathrm{SS}}_H}{{\mathrm{SS}}_{\epsilon }}}$ 严格增加, 似然比检验的否定域 ${\displaystyle \{\lambda \ge c\}}$ 易于用这个量表示. 这样再由 定理3.1, $$F=\frac{{\mathrm{SS}}_H}{{\mathrm{SS}}_{\epsilon }}\cdot \frac{n-r}{r-s}\sim F_{r-s,n-r,\delta },$$ 其中 ${\displaystyle r=\mathrm{rank}X}$, ${\displaystyle s=\mathrm{rank}((X^{\mathrm{T}}{H}^{\mathrm{T}}))-\mathrm{rank}{H}^{\mathrm{T}}}$, ${\displaystyle {\delta }^2=\frac{||X\beta -X\mathbb{E}{\hat{\beta }}_H|{|}^2}{{\sigma }^2}}$.
当假设成立, ${\displaystyle F\sim F_{r-s,n-r}}$, 从而拒绝域为 ${\displaystyle \{F\ge F_{r-s,n-r}(\alpha )\}}$.

5 其他讨论

5.1 方差分析可行的条件

对于上面似然比引出的检验, 也可以用方差分析来解释: $$\begin{array}{rl}||y|{|}^2& =||P_{XL}y|{|}^2+||(P_{(XL{)}^{\perp }}-P_{X^{\perp }})y|{|}^2+||P_{X^{\perp }}y|{|}^2\\ & \equiv ||P_{XL}y|{|}^2+{\mathrm{SS}}_H+{\mathrm{SS}}_{\epsilon }.\end{array}$$
这里 ${\displaystyle {\mathrm{SS}}_{\epsilon }}$ 是原模型的剩余平方和, 反映了模型的精确程度; ${\displaystyle {\mathrm{SS}}_H}$ 是附加约束后和原模型的剩余平方和之差, 反映了约束带来的误差情况. 如果客观上 ${\displaystyle H\beta =0}$, 约束存在, 则 ${\displaystyle {\mathrm{SS}}_H}$ 应该偏小.

接下来讨论对设计矩阵 ${\displaystyle X}$ 要求. 设 ${\displaystyle y\sim {\mathcal{N}}_n(X\beta ,{\sigma }^{2}I)}$. 剖分 ${\displaystyle X=(X_1{X}_2)}$, 相应地 ${\displaystyle {\beta }^{\mathrm{T}}=({\beta }_{(1)}^{\mathrm{T}}{\beta }_{(2)}^{\mathrm{T}})}$. 记 ${\displaystyle {\mu }_i=\mu (X_i)}$, ${\displaystyle \mu =\mu (X)}$. 给出方差分析可行的条件: